AI Papers Daily

#Sparse Memory

2 篇

Self-Evolving Memory for Generative Recommendation

生成式推荐的自进化记忆框架 LION

🧭 生成式推荐 · 持续学习与记忆隔离 ★ 深度解读

National University of Singapore · Meta AI

用稀疏 KV 记忆层隔离不同用户行为模式的梯度，缓解生成式推荐持续进化中的进化冲突

📌 工作参考价值（4 点）

• 在持续更新生成式推荐或 LLM4Rec 模型时，不要直接全参 fine-tune；可以插一个固定大小的稀疏 KV 记忆层，用 Top-K 激活按用户行为模式路由，隔离头部/长尾梯度冲突，避免高频用户主导模型更新。
• 想强化长尾或低频行为，可加 consolidation loss：对记忆增强后的用户表示直接预测 next item；注意该 loss 必须加在“隔离后的表示”上，直接加在共享 backbone 反而会引入额外梯度冲突。
• 做用户长期偏好建模可用“全序列 query + 近期窗口计算”的非对称设计：仅用完整历史去激活记忆 slot，主 Transformer 仍只消费最近几条交互；既能捕捉长期行为模式，又不增加推理序列长度。
• 稀疏 KV 记忆参数固定为 2Nd，不随用户规模增长；实验表明 N=4096,K=32 与 N=65536,K=8 性能几乎一致，工程上可大幅压缩参数，替代 per-user embedding 或 LoRA，降低部署成本。

GenRec | 2026-09-14 | cs.IR | score 9/10

Generative RecommendationContinual LearningSparse MemoryEvolution ConflictUser ModelingKV Memory

MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup

MoME：上下文感知稀疏查找的混合记忆嵌入

🧭 上下文感知稀疏记忆嵌入

University of British Columbia · Vector Institute for AI · Canada CIFAR AI Chair · NSERC CRC Chair

MoME 用上下文门控选择 M 个记忆槽的混合，取代单一行记忆，在 iso 参数/FLOP 下优于现有稀疏记忆基线，并改善 scaling 趋势。

📌 工作参考价值（4 点）

• 在 LLM4Rec / Query 推荐等场景，可将类目、品牌、高频 query 模板等静态知识注入 token 级条件记忆：用 MoME 式混合门控取代固定 embedding lookup，按上下文选择多个 slot，能区分“苹果”手机与水果等多义 token，提升下游意图理解。
• 在线 serving 需要低延迟稀疏查找时，条件记忆比 MoE 更便宜；MoME 的推理开销接近简单 embedding lookup，适合在推荐/搜索模型里增加轻量领域记忆，而无需承担 expert 路由与全激活成本。
• 对于搜索 query 生成/改写，可借鉴其多槽分离机制，将同一 surface token 的多种语义分开存储，由 learned gate 自动识别意图；定性结果显示路由具有可解释性，有助于后续分析或人工干预。
• 工程实现上注意 slot 数 M 与训练 FLOP 的平衡：MoME 在 sub-billion 规模下 memory-size scaling 趋势更优，说明在中小规模模型上增加记忆容量比扩大 dense 参数更具性价比。

Training | 2026-09-13 | HF Daily | score 7/10

Mixture-of-MemorySparse MemoryContext-AwareLLM PretrainingMemory EmbeddingsScaling